นายประสิทธิ์ ได้เข้ามามีบทบาทในแวดวงการเมือง ตั้งแต่ยังเป็นนิสิตจุฬาลงกรณ์มหาวิทยาลัย ด้วยเป็นหนึ่งในกลุ่มนิสิตและนักศึกษาที่ก่อตั้ง สมาพันธ์นักศึกษาห้าสถาบัน ซึ่งมีบทบาทสำคัญในการชุมนุมประท้วงการเลือกตั้งเมื่อวันที่ 26 กุมภาพันธ์ พ.ศ. 2500 ที่ได้ชื่อว่าเป็นการเลือกตั้งที่ทุจริตอย่างกว้างขวางในรัฐบาลจอมพล ป. พิบูลสงคราม ก่อนที่จะมีการรัฐประหารโดย พล.อ.สฤษดิ์ ธนะรัชต์ ในปีเดียวกัน และเข้ามามีบทบาทอย่างเต็มตัวหลังเหตุการณ์ 14 ตุลาคม พ.ศ. 2516 โดยได้รับแต่งตั้งให้เป็นสมาชิกสมัชชาแห่งชาติ และเป็นหนึ่งในผู้ร่วมก่อตั้งพรรคพลังใหม่ โดยมี น.พ.กระแส ชนะวงศ์ เป็นหัวหน้าพรรค นายประสิทธิ์ได้ลงรับเลือกตั้งในกรุงเทพมหานครในปี พ.ศ. 2518 แต่ไม่ได้รับการเลือกตั้ง

ต่อมาในรัฐบาลม.ร.ว.คึกฤทธิ์ ปราโมช นายประสิทธิ์ได้รับแต่งตั้งให้เป็นผู้ว่าการเคหะแห่งชาติ และประธานธนาคารอาคารสงเคราะห์ ในสมัยรัฐบาลพล.อ.เกรียงศักดิ์ ชมะนันท์ ได้รับแต่งตั้งให้เป็นรัฐมนตรีช่วยการกระทรวงคมนาคม ในปี พ.ศ. 2520[1]

ในปี พ.ศ. 2522 นายประสิทธิ์ได้ลงเลือกตั้งในจังหวัดอุบลราชธานี และได้รับการเลือกตั้ง ทำให้ได้ดำรงตำแหน่งรัฐมนตรีว่าการกระทรวงอุตสาหกรรม ในรัฐบาลพล.อ.เกรียงศักดิ์ ชมะนันท์[2] หลังจากปี พ.ศ. 2526 นายประสิทธิ์ได้ยุติบทบาททางการเมืองลง แต่อีกหลายปีต่อมา คือ ในปี พ.ศ. 2530 เขาเข้ามามีบทบาทในฐานะเลขาธิการพรรคกิจประชาคม[3] ซึ่งมี บุญชู โรจนเสถียร เป็นหัวหน้าพรรค

ในการเลือกตั้งเมื่อปี พ.ศ. 2538 นายประสิทธิ์ได้ลงเลือกตั้งอีกครั้งที่จังหวัดอุบลราชธานี ในฐานะรองหัวหน้าพรรคนำไทย และได้รับเลือกตั้ง จนกระทั่งถึงวาระที่นายบรรหาร ศิลปอาชา นายกรัฐมนตรีได้ยุบสภาเมื่อปี พ.ศ. 2539 บทบาททางการเมืองของนายประสิทธิ์จึงได้ยุติลง โดยหันไปประกอบธุรกิจแต่เพียงอย่างเดียว